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Andersson Elffers Felix 


Managementsamenvatting 

Inleiding 

Het voornemen van het ministerie van Infrastructuur en Milieu (lenM) is om per 201 6 een 
aantal prestatie-indicatoren in de vervoerconcessie van de Nederlandse Spoorwegen (NS) en 
de beheerconcessie van ProRail bij te stellen. Voor deze prestatie-indicatoren heeft een 
dóórontwikkeling of technische aanpassing plaatsgevonden, in de zin dat gekomen is tot 
een nieuwe definitie, een aanpassing van de meetmethode dan wel een herijking van de 
bodem- en streefwaarden. Ook is er sprake van een aantal nieuwe prestatie-indicatoren. Om 
de bruikbaarheid van de aangepaste en nieuwe prestatie-indicatoren te waarborgen, 
hebben Baker Tilly Berk en Andersson Elffers Felix een onafhankelijke audit uitgevoerd. 

Bruikbare prestatie-indicatoren dienen te voldoen aan de volgende voorwaarden: 
de definities en meetmethoden dienen helder, concreet en eenduidig interpreteerbaar 
beschreven te zijn; 

de meetpraktijk dient overeen te komen met de beschreven meetmethoden en de metingen 
worden juist gerapporteerd; 

de metingen dienen zodanig betrouwbaar te zijn dat een vergelijking over meerdere jaren 
mogelijk is; 

er dient sprake te zijn van betekenisvolle bodem- en streefwaarden, waartegen de gemeten 
waarden kunnen worden afgezet. 

Deze audit had betrekking op vier prestatie-indicatoren uit de vervoersconcessie van NS en 
vier prestatie-indicatoren uit de beheerconcessie van ProRail. Deze zijn getoetst op de 
bovenstaande voorwaarden. In samenspraak met het ministerie van lenM is bepaald om de 
aandacht hierbij specifiek te richten op de veranderingen die sinds de voorgaande audit in 
2014 voor deze prestatie-indicatoren zijn doorgevoerd. 1 Deze invalshoek impliceert dat de 
onderzoeksvragen die per prestatie-indicator beantwoord dienden te worden, verschilden. 
De audit is uitgevoerd op basis van een analyse van brondocumenten en verdiepende 
gesprekken met medewerkers van NS en ProRail. 

In deze managementsamenvatting zijn per prestatie-indicator de belangrijkste bevindingen 
en aanbevelingen uit de audit beschreven. Aan het eind presenteren we een aantal meer 
algemene bevindingen. 

Prestatie-indicatoren NS 

Prestatie-indicatoren uit klanttevredenheidsonderzoek 

De prestatie-indicatoren ‘Algemeen klantoordeel HRN’, ‘Algemeen klantoordeel HSL’ en 
‘Klantoordeel sociale veiligheid’ worden naar verwachting vanaf 201 6 alle gebaseerd op 
hetzelfde vernieuwde klanttevredenheidsonderzoek. Ten aanzien van dit onderzoek doen 
we de volgende algemene bevindingen: 

voor het vernieuwde klanttevredenheidsonderzoek geldt dat de meetmethoden in algemene 
zin helder zijn beschreven. Dit is het geval voor zowel het uitvoeren van de enquêtes die 
aan het onderzoek ten grondslag liggen als de verwerking hiervan; 


1 Audit prestatie-indicatoren voortvloeiende uit vervoer- en beheerconcessie, KPMG, 1 7 september 201 4. 
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een onderdeel van de vernieuwde meetmethode dat nog in ontwikkeling is, is de weging 
van de resultaten van het klanttevredenheidsonderzoek. NS werkt er momenteel aan om het 
wegingskader dat hiervoor gebruikt wordt, nader te verfijnen. Gezien de invloed van de 
gewichtsfactoren op de realisatiewaarde van de prestatie-indicatoren, is het van belang dat 
het proces van definitieve besluitvorming hierover goed geborgd is; 

daarnaast hebben we geconstateerd dat er momenteel geen maximale termijn is gekoppeld 
aan het invullen van een enquêteformulier door een reiziger. Ondanks het huidige lage 
percentage respondenten dat langer dan twee dagen wacht met het invullen van de 
enquête, achten we dit wenselijk om het risico op vertekening van klantervaringen ook in 
de toekomst te voorkomen. NS werkt er momenteel aan om de maximale termijn voor het 
invullen van enquêtes praktisch uit te werken; 

gezien het feit dat het veldwerk voor de nieuwe meetmethode recent gestart is, is er binnen 
NS nog geen meting gedaan van de kwaliteit van de meetpraktijk. Op basis van een door 
ons uitgevoerde analyse van het werkproces dat gevolgd wordt, is er geen aanleiding te 
veronderstellen dat deze meetpraktijk te wensen over laat; 

doordat het nieuwe meetsysteem in 201 5 gebruikt wordt naast het oude meetsysteem is 
het verschil in de uitkomsten tussen de beide meetsystemen helder in beeld. Dit maakt het 
mogelijk om de uitkomsten van het klanttevredenheidsonderzoek over meerdere jaren te 
vergelijken (rekening houdend met een inzichtelijke trendbreuk); 

NS stelt voor om voor de drie prestatie-indicatoren uit het klanttevredenheidsonderzoek het 
verschil in realisatiewaarden tussen de oude en nieuwe meetmethode één op één over te 
nemen in de aanpassing van de bodem- en streefwaarde. Uit de audit volgt dat dit een 
verdedigbare aanpak is. Wel merken we hierbij op dat deze aanpak voor de indicatoren 
waarvoor sprake is van een scopewijziging niet per definitie leidt tot een ambitieneutrale 
doorvertaling. 

Naast het bovenstaande, hebben we voor de prestatie-indicator ‘Klantoordeel sociale 
veiligheid’ enkele aanvullende bevindingen gedaan: 

voor deze indicator vindt er een verandering plaats in de weging van sociale veiligheid 
overdag en sociale veiligheid ’s avonds. De nieuwe verhouding is representatief voor de 
huidige situatie. NS werkt op het moment aan een formeel proces om de representativiteit 
van de verhouding ook in de toekomst te borgen; 

het verkorten van de periode waarin wordt geënquêteerd tot 21:30 uur (in plaats van 23:00 
uur) is nog niet in de definitie van de prestatie-indicator vastgelegd. Overigens heeft deze 
verkorting van de steekproefperiode geen significante invloed op de scores uit het 
klanttevredenheidsonderzoek. 

Kwaliteit van aansluitingen op andere vervoerders 

Voor de prestatie-indicator kwaliteit van aansluitingen op andere vervoerders doen we de 
volgende bevindingen: 

de definitie van deze prestatie-indicator is helder en concreet gedefinieerd, maar beschrijft 
nog niet de vertragingen die wel en niet binnen de scope worden meegenomen; 
er zijn geen gegevens die een volledig inzicht geven in de feitelijke kwaliteit van de 
aansluitingen. Daarom is gekozen voor een definitie voor deze prestatie-indicator die 
binnen de huidige mogelijkheden een goede benadering is voor de kwaliteit van 
aansluitingen; 

voor het meten van deze prestatie-indicator maakt NS gebruik van gegevens van ProRail. 
Naar aanleiding van audit in 2012 heeft ProRail uiteenlopende acties uitgevoerd om de 
meetmethoden verder te verbeteren en de totstandkoming van de gegevens beter 
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controleerbaar te maken. Hiermee is invulling gegeven aan de aanbevelingen uit de eerdere 
audit; 

ook heeft ProRail naar aanleiding van deze eerdere audit monitoring Controls opgezet om 
de betrouwbaarheid van de data te verbeteren. ProRail kan het effect hiervan echter niet 
inzichtelijk maken; 

de voorgestelde bodem- en streefwaarde voor deze prestatie-indicator zijn vastgesteld door 
middel van een expert opinion op basis van historische cijfers. Op basis van de audit 
constateren we dat de bodemwaarde op basis van de historische realisatie relatief laag is. 
De streefwaarde is wel voldoende ambitieus en tegelijk ook haalbaar. 

Prestatie-indicatoren ProRail 

Klanthinder als gevolg van storingen infrastructuur 

Voor de klanthinder als gevolg van storingen aan de infrastructuur doen we de volgende 
bevindingen: 

deze nieuw ontwikkelde prestatie-indicator is gericht om te sturen op de storingen die de 
meeste klanthinder veroorzaken in termen van treinvertragingsminuten. De definitie is 
helder en concreet, maar de storingen die worden meegenomen en de eenheid waarin 
wordt gerapporteerd zijn nog niet eenduidig vastgelegd; 

om de klanthinder te bepalen, wordt aan elke storing veroorzaakt door de infrastructuur 
het totaal aan hierdoor veroorzaakte treinvertragingsminuten gekoppeld. De systemen om 
de storingen en de vertragingsminuten te meten bestaan al langere tijd en zijn concreet, 
helder en eenduidig interpreteerbaar beschreven. Specifiek voor de registratie van de 
treinvertragingsminuten geldt dat de risico’s van de meetpraktijk en hiervoor genomen 
beheersmaatregelen nog onvoldoende in beeld zijn. Daarnaast is geen beschrijving 
aangetroffen voor het proces van het koppelen van treinvertragingsminuten aan storingen; 
in vervolg op een eerdere audit in 201 4 zijn er diverse maatregelen getroffen om de 
meetpraktijk van de registratie van storingen te verbeteren. Een deel van deze maatregelen 
is nog in uitvoering. Over de voortgang wordt intern binnen ProRail regelmatig 
gerapporteerd; 

de nauwkeurigheid van de meetpraktijk voor de prestatie-indicator kan beter inzichtelijk 
worden gemaakt door een check in te voeren op het percentage treinvertragingsminuten 
dat aan een storing wordt toegewezen. 

Punctualiteit regionale series 

Voor de punctualiteit van de regionale treinseries is door ProRail berekend dat de wijziging 
van de scope een licht negatief effect heeft op de realisatiewaarde. Deze berekening is 
echter gebaseerd op de meetgegevens over een beperkte tijdsperiode van twee maanden. 
Deze tijdsperiode is gebruikt, aangezien er tussen het ministerie van lenM en ProRail geen 
afspraken bestaan over de minimale meetperiode waarop nieuwe bodem- en streefwaarden 
worden gebaseerd. Door de berekening van de realisatiewaarde aanvullend te baseren op 
gegevens over 201 5 is een meer betrouwbare benadering mogelijk. 

Het één op één vertalen van de aanpassing in de realisatiewaarde naar de bodem- en 
streefwaarde is logisch en verdedigbaar. 

Punctualiteit HSL-producten en ICE 

Voor de punctualiteit van de HSL-producten en ICE geldt dat de aanpassing van de scope op 
basis van gegevens over 201 4 een positief effect heeft op de realisatiewaarde voor deze 
indicator. Door de berekening van de realisatiewaarde aanvullend te baseren op gegevens 
over 201 5 is echter een meer betrouwbare benadering mogelijk. 
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Beïnvloedbare TAO’s 

Voor het aantal beïnvloedbare TAO’s geldt dat ProRail de bodem- en streefwaarde op basis 
van de afname van de realisatiewaarde in de afgelopen jaren naar beneden heeft bijgesteld 
Het beeld uit de audit is dat de streefwaarde realistisch en voldoende ambitieus is, maar 
dat de bodemwaarde op basis van de historisch dalende trend verder verlaagd kan worden 

Aanbevelingen 

Op basis van de bovenstaande bevindingen komen we tot de aanbevelingen die zijn 
opgenomen in de onderstaande tabel. 


Prestatie-indicator 

NS 

Algemeen klantoordeel HRN / 
Algemeen klantoordeel HSL/ 
Klantoordeel sociale veiligheid 


Aanbeveling 


Borg het proces van definitieve besluitvorming over de 
gewichtsfactoren; 

Monitor in de loop van de tijd de representativiteit van de 
steekproef door een toets te doen op de gewichtsfactoren; 
Overweeg om de termijn na afloop van een treinreis 
waarbinnen een enquête ingevuld dient te worden te 
begrenzen; 

Maak bij een aanpassing van de bodem- en streefwaarde 
van een prestatie-indicator een onderscheid tussen de 
wijziging die voortvloeit uit de wijziging van het 
meetsysteem en de wijziging die voortvloeit uit een 
wijziging van de definitie; 

Borg de representativiteit van de reizigersverdeling tussen 
dag en avond door deze periodiek te herijken en leg de 
wijze van herijking vast in de procesbeschrijvingen; 

Pas de definitie van de prestatie-indicator aan op het 
nieuwe eindtijdstip voor de enquêtes in het kader van het 
klanttevredenheidsonderzoek. 


Kwaliteit van aansluitingen op 
andere vervoerders 


Expliciteer in de definitie de norm (dagplan) op basis 
waarvan de aankomstpunctualiteit gemeten wordt en welke 
treindiensten wel en niet in de prestatie-indicator worden 
meegenomen; 

Evalueer vanuit ProRail periodiek de werking van 
monitoring Controls en tref bij gebleken tekortkomingen 
aanvullende beheersmaatregelen; 

Stel de bodemwaarde voor de prestatie-indicator vanuit het 
ministerie van lenM in overleg met NS licht naar boven bij. 


ProRail 

Klanthinder als gevolg van 
storingen infrastructuur 


Scherp in de procesbeschrijving de definitie van de 
prestatie-indicator aan; 

Werk voor deze prestatie-indicator met een risicodossier, 
waarin de geconstateerde risico’s rond de meetpraktijk en 
getroffen risicobeheersmaatregelen staan vastgelegd; 

Stel als onderdeel van de procesbeschrijving een procedure 
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op voor het koppelen van treinvertragingen aan storingen 
aan de infrastructuur; 

Voer opnieuw een check in op het proces van het toewijzen 
van treinvertragingen aan storingen aan de infrastructuur. 


Punctualiteit regionale series ■ Maak tussen ProRail en het ministerie van lenM afspraken 

over de minimale statistische betrouwbaarheid van 
historische gegevens op basis waarvan nieuwe bodem- en 
streefwaarden worden gebaseerd; 

Herijk de aanpassing van de bodem- en de streefwaarde, 
waarbij aanvullend gebruik wordt gemaakt van de 
realisatiecijfers over de eerste negen maanden van 201 5. 

Herijk de aanpassing van de bodem- en de streefwaarde 
waarbij aanvullend gebruik wordt gemaakt van de 
realisatiecijfers over de eerste negen maanden van 201 5; 
Geef inzicht in de spreiding van de aankomstpunctualiteit 
in de situatie met de oude en de nieuwe scope en betrek 
het verschil hiertussen bij het bepalen van de nieuwe 
bodem- en streefwaarde. 

Beïnvloedbare TAO’s ■ Stel de bodemwaarde voor de prestatie-indicator vanuit het 

ministerie van lenM in overleg met ProRail naar beneden 
bij. 


Punctualiteit HSL-Producten en 
ICE 


Overige aandachtspunten 

Uit de audit komt naar voren dat de bevindingen bij de acht prestatie-indicatoren die 
onderdeel zijn van de audit, relatief beperkt zijn. In aanvulling hierop is uit de analyse een 
aantal aanvullende aandachtspunten voor de toekomst naar voren gekomen. Deze kunnen 
gebruikt worden om het gebruik van de prestatie-indicatoren verder te verbeteren. De 
aandachtspunten zijn: 

het verder verbeteren van de interne monitoring door NS en ProRail op de kwaliteit van de 
meetpraktijk; 

het nader expliciteren van de verantwoordelijkheid voor de kwaliteit van meetgegevens die 
NS gebruikt van ProRail; 

het verder verbeteren van de interne vastlegging van de prestatie-indicatoren in termen van 
definitie, meetsysteem en meetpraktijk, en veranderingen daarin binnen NS en ProRail; 
het nader aanscherpen van het detailniveau waarop de afspraken tussen het ministerie van 
lenM, NS en ProRail over de prestatie-indicatoren worden gemaakt; 
het verder vergroten van de consistentie tussen de sets van prestatie-indicatoren die 
gebruikt worden in de vervoer- en beheerconcessie, zodat deze een logisch geheel vormen. 
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1 Inleiding 

1.1 Achtergrond 

In de organisatie van het spoorvervoer en -beheer in Nederland wordt gebruik gemaakt van 
concessies: de Nederlandse Staat is concessieverlener en de Nederlandse Spoorwegen (NS) 
en ProRail zijn concessiehouder voor respectievelijk het spoorvervoer op het Hoofdrailnet 
(HRN) en het beheer over het spoorwegnet voor zover niet in particulier bezit. Om te sturen 
op de dienstverlening gedurende de looptijd van de vervoers-en de beheerconcessie werken 
de concessieverlener en -houders met prestatie-indicatoren. Monitoring aan de hand van de 
afgesproken prestatie-indicatoren stelt de Staat als concessiehouder in de gelegenheid om 
toe te zien op deugdelijk en kwalitatief hoogstaand spoorvervoer en -beheer in Nederland. 

Bruikbare prestatie-indicatoren dienen te voldoen aan de volgende voorwaarden: 

■ de definities en meetmethoden dienen helder, concreet en eenduidig interpreteerbaar 
beschreven te zijn; 

■ de meetpraktijk dient overeen te komen met de beschreven meetmethoden en de metingen 
worden juist gerapporteerd; 

■ de metingen dienen zodanig betrouwbaar te zijn dat een vergelijking over meerdere jaren 
mogelijk is. 

Daarnaast moet er sprake zijn van betekenisvolle bodem- en streefwaarden, waartegen de 
gemeten waarden kunnen worden afgezet. 

Het voornemen van het ministerie van Infrastructuur en Milieu (lenM) is om per 201 6 een 
aantal prestatie-indicatoren bij te stellen. Voor deze indicatoren heeft een dóórontwikkeling 
of technische aanpassing plaatsgevonden, in de zin dat gekomen is tot nieuwe definities, 
meetmethoden dan wel bodem- en streefwaarden. Ook is er sprake van een aantal nieuwe 
prestatie-indicatoren. Om de bruikbaarheid van de aangepaste en nieuwe prestatie- 
indicatoren te waarborgen, heeft het ministerie van lenM aan Baker Tilly Berk (BTB) verzocht 
een onafhankelijke audit op de doorontwikkelde prestatie-indicatoren uit te voeren. Deze 
audit heeft betrekking op vier prestatie-indicatoren uit de vervoerconcessie van NS en vier 
prestatie-indicatoren uit de beheerconcessie van ProRail. 

Voor het uitvoeren van de audit heeft BTB de samenwerking gezocht met Andersson Elffers 
Felix (AEF). De uitkomsten van de gezamenlijke audit zijn opgenomen in de voorliggende 
rapportage. 

1.2 Vraagstelling 

Voor NS richt de audit zich op de volgende vier prestatie-indicatoren: 

■ het algemeen klantoordeel over de HRN-diensten; 

■ het algemeen klantoordeel over de HSL-diensten; 

■ het klantoordeel over sociale veiligheid in de trein en op het station; 

■ de kwaliteit van de aansluitingen op andere vervoerders op belangrijke knooppunten. 

De vragen die per prestatie-indicator relevant zijn, zijn opgenomen in de onderstaande 
tabel. 
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Prestatie-indicatoren 

Algemeen 

Algemeen 

Klantoordeel 

Kwaliteit 


klantoordeel 

klantoordeel 

sociale 

aansluitingen 


HRN 

HSL 

veiligheid 

op andere 

Vragen 




vervoerders 

Zijn de definities helder, concreet en 
eenduidig interpreteerbaar 

beschreven? 


■ 


■ 

Zijn de meetmethoden helder, 
concreet en eenduidig 
interpreteerbaar beschreven? 

■ 

■ 

■ 

■ 

Zijn de bodem- en streefwaarden 
zowel vanuit historisch perspectief 
als ook gebaseerd op recente 

realisaties en te verwachten 

toekomstige ontwikkelingen 
haalbaar en ambitieus genoeg? 




■ 

Komt de meetpraktijk overeen met 
de beschrijving van de 
meetsystemen (conformiteit) en 
wordt er gerapporteerd wat er 
gemeten wordt (juistheid)? 

■ 

■ 

■ 

■ 

Is de informatie afkomstig uit de 
meetsystemen voldoende 
betrouwbaar om een vergelijking 
tussen meerdere kalenderjaren 
mogelijk te maken? 

■ 

■ 

■ 

■ 

Zijn de aangepaste bodem- en 

streefwaarden een ambitieneutrale 

doorvertaling van de bodem- en 

streefwaarden in het Vervoer- en 

Beheerplan 201 5? 

■ 

■ 

■ 



Voor ProRail heeft de audit betrekking op de volgende vier prestatie-indicatoren: 
de klanthinder als gevolg van storingen infra; 
de punctualiteit van regionale treinseries (< 3 min.); 
de punctualiteit van HSL-producten (< 3 min.); 

de beïnvloedbare Treindienst Aantastende Onregelmatigheden (TAO’s). 

De voor deze prestatie-indicatoren relevante vragen zijn in de onderstaande tabel 
opgenomen. 
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Prestatie-indicatoren 

Klanthinder 

Punctualiteit 

Punctualiteit 

Beïnvloedbare 


a.g.v. 

regionale 

HSL- 

TAO’s 

Vragen 

storingen 

treinseries 

producten en 



infra 


ICE 


Zijn de definities helder, concreet en 
eenduidig interpreteerbaar 

beschreven? 

■ 




Zijn de meetmethoden helder, 
concreet en eenduidig 
interpreteerbaar beschreven? 

■ 




Komt de meetpraktijk overeen met 
de beschrijving van de 
meetsystemen (conformiteit) en 
wordt er gerapporteerd wat er 
gemeten wordt (juistheid)? 

■ 




Is de informatie afkomstig uit de 
meetsystemen voldoende 
betrouwbaar om een vergelijking 
tussen meerdere kalenderjaren 
mogelijk te maken? 

■ 




Zijn de wijzigingen in de bodem- en 
streefwaarden een logisch gevolg 
van de wijziging van de definitie van 
de prestatie-indicator? 


■ 

■ 


Zijn de wijzigingen in de bodem- en 

streefwaarden realistisch in 

historisch perspectief als ook 
gebaseerd op recente realisaties? Dit 
in relatie tot de eerder afgesproken 

bodem- en streefwaarden in de 

beheerconcessie 




■ 


1.3 Aanpak 

De audit is in samenspraak met het ministerie van lenM in vier stappen uitgevoerd: 

■ in de eerste stap is een beoordelingskader uitgewerkt voor de beantwoording van de 
bovenstaande vragen. Een beschrijving van dit beoordelingskader is opgenomen in een 
bijlage bij deze rapportage; 

■ vervolgens is in de tweede stap een analyse gemaakt van de brondocumenten die door NS 
en ProRail beschikbaar zijn gesteld. Een overzicht van deze documenten is eveneens in een 
bijlage bij deze rapportage opgenomen; 

■ in de derde stap hebben verdiepende gesprekken plaatsgevonden met medewerkers van NS 
en ProRail. Een overzicht van de gesprekspartners is ook als bijlage bij deze rapportage 
opgenomen; 

■ in de vierde stap is een synthese gemaakt van de bevindingen en zijn op basis hiervan 
conclusies en aanbevelingen geformuleerd. 

De stappen zijn doorlopen met een nauwe betrokkenheid van medewerkers van zowel NS 
als ProRail. In het kader van hoor en wederhoor hebben beide organisaties de gelegenheid 
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gehad om op een conceptversie van de voorliggende rapportage te reageren, zonder 
daarbij overigens afbreuk te doen aan de onafhankelijkheid van de onderzoekers. 

In samenspraak met het ministerie van lenM is bepaald om de audit te richten op de 
veranderingen die sinds de voorgaande audit in 2014 zijn doorgevoerd. 2 Onderwerpen 
waarvoor geen sprake is van een aanpassing, komen niet aan bod. Voor een beoordeling 
hiervan verwijzen we naar de voorgaande audit. 

1.4 Leeswijzer 

De opbouw van de rapportage is als volgt. In hoofdstuk twee gaan we in op de bevindingen 
en aanbevelingen uit de audit voor de prestatie-indicatoren voor NS. Vervolgens beschrijven 
we in hoofdstuk drie de bevindingen en aanbevelingen voor de prestatie-indicatoren van 
ProRail. In hoofdstuk vier doen we tot slot nog enkele aanvullende algemene observaties. 


2 Audit prestatie-indicatoren voortvloeiende uit vervoer- en beheerconcessie, KPMG, 1 7 september 201 4. 
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2 Bevindingen prestatie-indicatoren NS 

2.1 Algemeen klantoordeel HRN 

2.1.1 Definitie 

De prestatie-indicatoren ‘Algemeen klantoordeel HRN’, ‘Algemeen klantoordeel HSL’ en 
‘Klantoordeel sociale veiligheid’ worden naar verwachting vanaf 1 januari 201 6 alle 
gebaseerd op hetzelfde klanttevredenheidsonderzoek. De algemene bevindingen en 
aanbevelingen die gelden voor de totstandkoming van de prestatie-indicator ‘Algemeen 
klantoordeel HRN’ zijn dan ook van toepassing op de overige twee prestatie-indicatoren. 

2.1.2 Meetmethoden 
Bevindingen 

De meetmethoden die gehanteerd worden voor deze prestatie-indicator zijn in algemene 
zin gedetailleerd en helder beschreven. Dit geldt voor zowel het uitvoeren van het continue 
klanttevredenheidsonderzoek als de verwerking van de uitkomsten hiervan tot de waarde 
van de prestatie-indicator. 

Een aspect van de meetmethode dat tot nog in ontwikkeling is, is de omgang met de 
weging van de resultaten van het klanttevredenheidsonderzoek voor de berekening van de 
prestatie-indicatoren uit het KTO. Om de steekproef zo goed mogelijk aan te laten sluiten 
bij de populatie treinreizigers, wordt aan elke enquête een weging meegegeven. Hierbij 
wordt er gecorrigeerd voor het tijdstip van de reis, de reisafstand en de vervoerder dan wel 
treinserie. Afhankelijk van de onder- of oververtegenwoordiging van de groep waarin de 
respondent valt, past NS een gewichtsfactor toe die hoger of lager is dan één. NS stelt de 
gewichtsfactoren jaarlijks opnieuw vast op basis van het aantal reizen in het voorgaande 
jaar. Zoals aangegeven is het wegingskader nog in ontwikkeling. Er ligt een voorlopig 
voorstel voor een wegingskader voor 201 6, maar de definitieve weging hangt af van de 
data en zal later vastgelegd worden. 

Een praktisch aandachtspunt is, dat er geen maximale termijn is gesteld aan het invullen 
van een enquête. Uit huidige gegevens van NS blijkt dat 1% van de respondenten langer dan 
twee dagen wacht met het invullen van de enquête. Ondanks dit lage percentage, kan 
overwogen worden om een maximale termijn te stellen aan het invullen van de vragenlijst. 
Dit om het toekomstige risico op een vertekening van de uitkomsten van het onderzoek uit 
te sluiten en ervoor te zorgen dat de ingevulde waarden zoveel mogelijk overeenkomen 
met de feitelijke ervaringen. Dit is mogelijk zonder ingrijpende aanpassingen in de 
meetpraktijk. Een maximale termijn komt eveneens tegemoet aan het feit dat het, gezien 
het voornemen om per kalendermaand te rapporteren, nodig is om de enquêtes die in de 
rapportage meegenomen worden een beperkt aantal dagen na afronding van een maand 
binnen te hebben. NS heeft dit punt (al eerder) onderkend en is hiermee aan de slag. De 
manier waarop aan de maximale termijn invulling wordt gegeven, moet nog door NS nog 
worden ontworpen. 

Aanbevelingen 

■ Borg, gezien het belang van het wegingskader voor de berekening van meerdere prestatie- 
indicatoren, het proces van definitieve besluitvorming over de gewichtsfactoren; 

■ Monitor in de loop van de tijd de representativiteit van de steekproef door ook na de 
inrichting van de definitieve wegingsprocedure een toets te doen op de gewichtsfactoren 
die gebruikt worden voor de berekening van de indicator; 
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■ Overweeg om de termijn na afloop van een treinreis waarbinnen een enquête ingevuld dient 
te worden te begrenzen. 

2.1.3 Meetpraktijk 
Bevindingen 

De operationele processen voor het veldwerk en de verwerking door de backoffice zijn 
gedetailleerd en helder beschreven. Er is een proceseigenaar en de rollen binnen het proces 
zijn duidelijk belegd. 

In 2011 heeft Horvat & Partners een onderzoek gedaan naar de meetpraktijk van de 
prestatie-indicatoren voor de klantoordelen. 3 In dit onderzoek, dat gebaseerd is op het 
oude meetsysteem en de oude meetpraktijk, werd geconcludeerd dat de representativiteit 
en betrouwbaarheid van het meetsysteem in orde is en de indicatoren geschikt zijn om het 
klantoordeel te monitoren en hierop te sturen. Wel worden er op basis van de audit vijf 
generieke aanbevelingen gedaan om de meetpraktijk te verbeteren. 

NS heeft aan deze aanbevelingen opvolging gegeven en hier schriftelijk verslag van gedaan. 
De voorliggende audit geeft aan dat vier van de vijf aanbevelingen adequaat zijn ingevuld. 
Uit de audit blijkt dat voor de vijfde aanbeveling, het vastleggen en toegankelijk maken van 
de meetsystemen en achterliggende analyses, overwegingen, keuzes en onderbouwingen, 
nog een aanvullende verbeterslag mogelijk is. Op dit punt komen we terug in hoofdstuk 
vier van deze rapportage. 

Gezien het feit dat het veldwerk voor de nieuwe meetmethode recent gestart is, zijn er nog 
geen interne onderzoeken beschikbaar die inzicht geven in de feitelijke kwaliteit van de 
nieuwe meetpraktijk. Het externe bureau waar NS voor het afnemen van de enquêtes mee 
samenwerkt, is in het bezit van diverse ISO-certificeringen. 4 Bovendien voert NS gedurende 
het meetproces meerdere geautomatiseerde checks en handmatige controles op de 
volledigheid, tijdigheid en juistheid van de ingevoerde gegevens. De analyse die in het 
kader van de voorliggende audit is uitgevoerd, biedt gezien de bovenstaande activiteiten 
geen aanleiding te veronderstellen dat er onvoldoende gestuurd wordt op de kwaliteit van 
de meetpraktijk. Tevens zijn er geen aanwijzingen dat de meetpraktijk afwijkt van de 
meetsystemen of dat de rapportages afwijken van de metingen die gedaan worden. 

Aanbevelingen 


2.1.4 Informatie uit meetsystemen 
Bevindingen 

Om de informatie uit de meetsystemen over meerdere jaren te kunnen vergelijken, dient 
rekening te worden gehouden met een trendbreuk in de realisatiewaarde. Doordat het 
nieuwe meetsysteem in 201 5 gebruikt wordt naast het oude meetsysteem is het verschil in 
de uitkomsten tussen de oude en de nieuwe meetmethode inzichtelijk. Per saldo bedraagt 
dit verschil -/- 0,7%. Deze waarde is het gevolg van een herijking van de scope (+ 0,3%) en 


3 Onafhankelijk onderzoek NS Meetsystemen, Horvat en Partners, 10031 -R-01 3,28 april 201 1 en zie 1. 

4 ISO20252 (uitvoeren van marktonderzoek), IS026362 (beheer access panels) en IS027001 (informatiebeveiliging). 
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een aanpassing van de meetmethode (-/- 1,0%). De berekening die aan deze waarden ten 
grondslag ligt, is helder onderbouwd. 

Aanvullend leidt de afname in de omvang van de steekproef wel tot een aanpassing van de 
betrouwbaarheidsmarges van de uitkomst van de meting, maar dat de steekproefomvang 
voldoende groot is om betrouwbare rapportages te genereren, die over meerdere jaren 
vergeleken kunnen worden. 

Aanbevelingen 


2.1.5 Bodem-en streefwaarden 
Bevindingen 

De bodem- en streefwaarden voor deze prestatie-indicator worden bepaald door middel van 
een één op één vertaling van het verschil in de realisatie in de oude en nieuwe methode. Op 
basis van het eerste semester van 201 5 betekent dit voor de prestatie-indicator ‘Algemeen 
klantoordeel HRN’ dat zowel de bodem- als de streefwaarde met 1% naar beneden wordt 
bijgesteld. De afspraak is gemaakt dat aan het einde van het jaar bekeken wordt wat het 
verschil over geheel 201 5 is. Dit verschil is de basis voor de één op één aanpassing van de 
bodem- en streefwaarde. 

De aanpassing van de realisatiewaarde en daarmee de bodem- en streefwaarde kent twee 
oorzaken: de wijziging van de meetmethode en de uitbreiding van de scope. De individuele 
effecten van beide oorzaken op de realisatiewaarde zijn inzichtelijk, maar het is onduidelijk 
op welke wijze deze zijn vertaald naar een aanpassing van de bodem- en streefwaarde. 

Door uit te gaan van een één op één vertaling van de realisatiewaarde naar de nieuwe 
bodem- en streefwaarde wordt de impliciete aanname gedaan dat, ongeacht de toevoeging 
van nieuwe treinseries (IC Direct, Thalys, ICE, IC Berlijn en IC Brussel), dezelfde inspanning 
gepleegd moet worden om de streefwaarde in de toekomst te behalen. 

Gezien het beperkte aandeel dat de internationale treinseries uitmaken van de nieuwe 
steekproef (< 5%), de kleine aanpassing van de nieuwe bodem en streefwaarden (-/- 1%) en 
de afronding van de prestatie-indicator op hele procentpunten is het in dit specifieke geval 
verdedigbaar om het effect van de uitbreiding van de scope niet te expliciteren. Het één op 
één vertalen van de aanpassing van de realisatiewaarde naar de bodem- en streefwaarde 
levert in deze situatie een ambitieneutrale doorvertaling. 

Aanbevelingen 

■ Maak bij een aanpassing van de bodem- en streefwaarde van een prestatie-indicator een 
onderscheid tussen de wijziging die voortvloeit uit de wijziging van het meetsysteem en de 
wijziging die voortvloeit uit een wijziging van de definitie. 

2.2 Algemeen klantoordeel HSL 

2.2.1 Definitie 

Bevindingen 

De definitie van deze prestatie-indicator wordt aangepast om de vraagstelling gelijk te 
trekken met de prestatie-indicator ‘Algemeen klantoordeel HRN’. Dit betekent dat in plaats 
van een oordeel over de dienstverlening gevraagd wordt naar een algemeen oordeel over 
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het reizen per trein. De stap die gemaakt wordt om het klantoordeel over de verschillende 
treindiensten beter vergelijkbaar wordt, beoordelen we als positief. 

Op termijn is de scope van de prestatie-indicator opnieuw bij te stellen door het toevoegen 
van extra treinseries, zoals de IC Brussel, de Eurostar en Den Haag - Eindhoven, conform de 
concessie-afspraken. 

Aanbevelingen 


2.2.2 Meetmethoden, meetpraktijk en informatie uit meetsystemen 
Bevindingen 

De meetpraktijk voor deze prestatie-indicator wijkt niet af van de meetpraktijk voor de 
prestatie-indicator ‘Algemeen klantoordeel HRN’. Voor de beschrijving verwijzen we naar 
paragraaf 2.1. 

Aanvullend hierop geldt dat de beperkte toename in de omvang van de steekproef niet leidt 
tot een significante aanpassing van de betrouwbaarheidsmarges van de uitkomst van de 
meting. 

Aanbevelingen 

m 

2.2.3 Bodem-en streefwaarden 
Bevindingen 

De aanpassing van de bodem- en de streefwaarde is voor deze prestatie-indicator alleen het 
gevolg van het aanpassen van de vraagstelling. Er is geen sprake van een wijziging in de 
scope in termen van treinseries. Dit maakt dat een één op één vertaling van de aanpassing 
in de realisatiewaarde naar de bodem- en streefwaarde logisch en verdedigbaar is. 

Het is vooralsnog onduidelijk wat het effect is van het op termijn toevoegen van extra 
treinseries op de bodem- en streefwaarde van deze prestatie-indicator. Dit is later in beeld 
te brengen. 

Aanbevelingen 

■ 

2.3 Klantoordeel sociale veiligheid 

2.3.1 Definitie 

De prestatie-indicator ‘Klantoordeel sociale veiligheid’ geeft het percentage reizigers weer 
dat hun veiligheidsbeleving in de trein respectievelijk op het station overdag (van 07:00 tot 
1 9:00 uur) en in de avond (van 1 9:00 tot 21:30 uur) waardeert met een 7 of hoger. 

2.3.2 Meetmethoden 
Bevindingen 

De meetpraktijk voor deze prestatie-indicator wijkt niet af van de meetpraktijk voor de 
prestatie-indicator ‘Algemeen klantoordeel HRN’. Voor de beschrijving verwijzen we naar 
paragraaf 2.1. 
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In aanvulling hierop geldt dat in de meetmethode een onderscheid wordt gemaakt tussen 
de sociale veiligheid overdag en ’s avonds. Voor de verhouding tussen dag en avond gaat 
NS uit van de feitelijke verdeling zoals die uit het klanttevredenheidsonderzoek naar voren 
komt. Deze verdeling is daarmee afhankelijk van de uitkomsten van het onderzoek en kan 
daardoor in de tijd variëren. In de steekproef die in het eerste semester van 201 5 is 
genomen, reisde 88% van de respondenten overdag en 1 2% van de respondenten ’s avonds. 

De nieuwe verhouding is een sterke verschuiving ten opzichte van de eerder gehanteerde 
verhouding tussen dag en avond (55%/45%). NS geeft aan dat deze nieuwe verdeling bij 
benadering overeenkomt met de feitelijke verdeling van de reizigerspopulatie zoals die 
volgt uit andere bronnen. Het is voor ons nog onduidelijk op welke wijze de 
representativiteit van de verdeling tussen dag en avond in de toekomst gecontroleerd 
wordt. Het hoeft immers niet per definitie zo te zijn dat de verdeling die volgt uit het 
klanttevredenheidsonderzoek representatief is voor de feitelijke verdeling. NS heeft dit punt 
onderkend en denkt na over een methode om deze representativiteit ook in de toekomst te 
borgen. 

Een aanvullend aandachtspunt is dat de prestatie-indicator wordt gebaseerd op het 
klantoordeel tot 21:30 uur. Dit is een wijziging ten opzichte van de oude methode waarin 
tot 23:00 uur werd geënquêteerd. Deze wijziging is nog niet expliciet als wijziging in de 
documentatie over de prestatie-indicator vastgelegd. Uit berekeningen van NS volgt dat 
deze aanpassing geen significant effect heeft op de scores van de klantoordelen.s Dit komt 
mede door het beperkte aandeel van de groep van reizigers na 21:30 uur dat deelneemt 
aan het klanttevredenheidsonderzoek. 

Aanbevelingen 

■ Borg de representativiteit van de reizigersverdeling tussen dag en avond door deze 
periodiek te herijken en leg de wijze van herijking vast in de procesbeschrijvingen; 

■ Pas de definitie van de prestatie-indicator aan op het nieuwe eindtijdstip voor de enquêtes 
in het kader van het klanttevredenheidsonderzoek. 

2.3.3 Meetpraktijk en informatie uit meetsystemen 
Bevindingen 

De meetpraktijk voor deze prestatie-indicator wijkt niet af van de meetpraktijk voor de 
prestatie-indicator Algemeen klantoordeel. Voor de beschrijving verwijzen we naar 
paragraaf 2.1. 

Aanbevelingen 


2.3.4 Bodem- en streefwaarden 
Bevindingen 

De aanpassing in de bodem- en streefwaarde is het gevolg van enerzijds de algemene 
aanpassingen die gelden voor het klanttevredenheidsonderzoek (zie paragraaf 2.1) en 


5 De spreiding van de klantoordelen na 21:30 uur is wel groter dan die van voor 21:30 uur. 
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anderzijds de specifieke aanpassingen die gelden voor het meten van de sociale veiligheid. 
Deze laatste aanpassingen betreffen: 

■ het aanpassen van de vraagstelling naar het oordeel over de sociale veiligheid; 

■ het aanpassen van de verhouding tussen het oordeel over dag en avond; 

■ het bijstellen van de periode waarover de meting plaatsvindt (21:30 uur i.p.v. 23:00 uur). 

NS heeft geen berekening gemaakt van het effect van de individuele aanpassingen, 
waardoor niet inzichtelijk is hoe de totale aanpassing van de bodem- en streefwaarde is 
opgebouwd. 

Ondanks het gebrek aan dit inzicht achten we de één op één vertaling zoals die ook hier is 
toegepast logisch en verdedigbaar. Het beeld is dat deze vertaling ambitieneutraal is. 

Aanbevelingen 

■ Maak bij een aanpassing van de bodem- en streefwaarde van een prestatie-indicator een 
onderscheid tussen de wijziging die voortvloeit uit de wijziging van het meetsysteem en de 
wijziging die voortvloeit uit een wijziging van de definitie. 

2.4 Kwaliteit aansluitingen op andere vervoerders 
2.4.1 Definitie 

Bevindingen 

De kwaliteit van overstap wordt gemeten door het vaststellen van de aankomstpunctualiteit 
van NS treinen op de 1 8 belangrijkste overstapstations. De uitkomst is het percentage van 
de NS-treinen die minder dan vijf minuten vertraagd aankomen op deze stations. 

De indicator is helder en concreet gedefinieerd. Voor een eenduidige interpretatie dient de 
definitie te worden uitgebreid met de norm ten opzichte waarvan de aankomstpunctualiteit 
gemeten wordt. Deze norm is het zogenaamde dagplan. Dit is het plan dat tot 36 uur voor 
aanvang van een dag kan worden aangepast en dat daarna gecommuniceerd wordt met de 
treinreizigers. Dit dagplan kan afwijken van de jaardienstregeling. Treindiensten waarvoor 
meer dan 36 uur van te voren bekend is dat deze niet worden uitgevoerd, maken geen 
onderdeel uit van het dagplan en worden dan ook niet meegenomen in de indicator. Dit 
geldt ook voor treindiensten met een vervangend nummer, bijvoorbeeld als gevolg van 
stremmingen of werkzaamheden. Deze worden geregistreerd als uitgevallen treindiensten. 
De bovenstaande punten komen in de definitie niet helder terug. 

Bij de definitie van de indicator past verder de kanttekening dat er geen directe relatie te 
leggen is tussen het aantal treinen dat minder dan vijf minuten vertraagd is en de kwaliteit 
van de aansluitingen tussen HRN treinen en niet-HRN treinen. Dit maakt dat de vertragingen 
die gerapporteerd worden eerder een benadering van de kwaliteit van de aansluiting tussen 
de treindiensten van NS en andere vervoerders zijn dan een feitelijke meting. Hierbij speelt 
ook dat elke trein in de berekening van de aankomstpunctualiteit even zwaar mee weegt en 
de indicator dus geen rekening houdt met het daadwerkelijke aantal overstappende 
reizigers. 

Door een gebrek aan de vervoersgegevens van andere vervoerders (niet-HRN), is het op dit 
moment echter niet mogelijk om de prestatie-indicator op dit punt te verbeteren. Hierbij is 
ook van belang dat de vertrektijden van de treinen van andere vervoerders buiten de 
vervoersconcessie vallen en daarmee buiten de invloedssfeer van NS liggen, waardoor NS 
hier in termen van prestaties niet op afgerekend kan worden. 
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Aanbevelingen 

■ Expliciteer in de definitie de norm (dagplan) op basis waarvan de aankomstpunctualiteit 
gemeten wordt en welke treindiensten wel en niet in de prestatie-indicator worden 
meegenomen. 

2.4.2 Meetmethoden 
Bevindingen 

Voor het meten van de aankomstpunctualiteit maakt NS gebruik van de gegevens van 
ProRail. Omdat de gegevens die ten grondslag liggen aan deze prestatie-indicator reeds 
langere tijd gebruikt worden, zijn ook de meetmethoden al geruime tijd operationeel. 
Hierin hebben zich geen wijzigingen voorgedaan. 

Voor ProRail is in 2012 een audit gedaan op de gegevens die inzicht geven in de 
punctualiteit. 6 Hierin wordt een aantal bevindingen gepresenteerd ten aanzien van de 
meetmethoden. Een van de bevinding uit de audit is ook relevant voor de prestatie- 
indicator ‘Kwaliteit aansluitingen op andere vervoerders’ van NS. Deze bevinding is dat het 
beheer van tabellen met stamgegevens inzake het aantal meetpunten voor punctualiteit en 
de koppeling met vervoerders in de Nieuwe Vervoersgegevensbank (NVCB) niet is 
beschreven in de administratieve organisatie en interne controle (AO/IC). Dit heeft 
implicaties voor de controleerbaarheid van de totstandkoming van de prestatie-indicator. 

ProRail is met deze bevinding aan de slag gegaan en rapporteert hier intern elk kwartaal 
over aan het interne onderdeel Corporate Audit. Eén van de acties naar aanleiding van de 
audit is dat sinds april 2012 een log wordt bijgehouden met de mutaties in de koppeltabel 
van de Verkeersleiding. ProRail verwacht medio 2016 gereed te zijn met de opvolging van 
de aanbevelingen uit deze audit. Op dat moment is er ook een nieuwe applicatie met 
bijbehorende AO/IC beschrijvingen beschikbaar, waarmee aan de aanbeveling van de audit 
uit 201 2 is voldaan en de totstandkoming van de prestatie-indicator - indien nodig ook 
voor NS - beter controleerbaar is. 

Aanbevelingen 


2.4.3 Meetpraktijk 
Bevindingen 

Er zijn in de afgelopen periode geen aanpassingen doorgevoerd in de meetpraktijk voor 
deze prestatie-indicator. Wel zijn in het verleden meerdere onderzoeken naar deze 
meetpraktijk uitgevoerd. Het gaat hierbij onder meer om het eerder aangehaalde 
onderzoek van Horvat & Partners in 201 1. 7 In dit onderzoek wordt geconcludeerd dat de 
representativiteit en betrouwbaarheid van het meetsysteem in orde lijkt en de indicator 
goed geschikt is om de punctualiteit van treinen te monitoren en hierop te sturen. Wel 
worden vijf generieke aanbevelingen gedaan om de meetpraktijk te verbeteren. 


6 Rapport van feitelijke bevindingen inzake het totstandkomingsproces van niet-financiële informatie opgenomen in de 
kwartaal- en jaarrapportages van ProRail B.V., Ernst & Young Accountants, november 2012. 

7 Onafhankelijk onderzoek NS Meetsystemen, Horvat en Partners, 10031 -R-01 3, 28 april 201 1 en zie 1. 
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NS geeft aan deze aanbevelingen voor de prestatie-indicator aankomstpunctualiteit te 
hebben opgevolgd. Dit is vastgelegd in een intern document. Hierin geeft NS aan dat: 

■ de marge van de onzekerheden in de meetsystemen niet kwantificeerbaar is, maar deze aan 
de hand van de beperkingen van de meetsystemen wel kwalitatief inzichtelijk te maken is; 

■ de representativiteit van de gemeten aankomsten is gewaarborgd door te werken met een 
selectie van meetpunten die door het ministerie van lenM is goedgekeurd; 8 

■ de betrouwbaarheid van de meetsystemen door middel van verschillende analyses op de 
gegevens op meerdere manieren en momenten worden getoetst. 

In de audit van Ernst & Young Accountants uit 201 2 is geconstateerd dat de meetpraktijk 
van ProRail op één aspect te wensen overlaat. Er is destijds vastgesteld dat het aantal 
beheersmaatregelen in het proces niet volledig is om de betrouwbaarheid van informatie te 
waarborgen. ProRail heeft destijds monitoring Controls opgezet, die dienen te borgen dat 
significante afwijkingen in de meetpraktijk gesignaleerd worden. Deze zijn nu nog steeds 
actief. 

Bij de follow up van de bevindingen hebben we de volgende observaties: 

■ de afspraken tussen NS en ProRail over de borging van de kwaliteit van de gegevens die NS 
van ProRail geleverd krijgt en die gebruikt worden voor het berekenen van de prestatie- 
indicator zijn onvoldoende helder. We gaan hier in hoofdstuk vier nader op in; 

■ er is geen zicht op de kwaliteit van de monitoring Controls van ProRail. Hierdoor is niet 
inzichtelijk wat het effect van deze Controls op de kwaliteit van de gegevens is. 

Aanbevelingen 

■ Evalueer vanuit ProRail periodiek de werking van monitoring Controls en tref bij gebleken 
tekortkomingen aanvullende beheersmaatregelen. 

2.4.4 Informatie uit meetsystemen 
Bevindingen 

De meetsystemen die gebruikt worden voor het bepalen van de aankomstpunctualiteit zijn 
niet nieuw. Deze worden door NS en ProRail al lange tijd gebruikt. De enige verandering is 
dat de gegevens nu voor een nieuwe prestatie-indicator worden benut. 

Het feit dat de meetsystemen niet nieuw zijn, maar al langere tijd bestaan, maakt dat het 
mogelijk is om een vergelijking tussen meerdere kalenderjaren mogelijk te maken. Hierbij 
gaan we ervan uit dat de vergelijking vooral in relatieve zin is. 

Aanbevelingen 


8 De stations voor het meten van aankomstpunctualiteit staan in principe vast, maar kunnen gewijzigd worden. In 2010 is 
voor het laatst een verandering doorgevoerd. Deze is geïnitieerd door NS en goedgekeurd door het ministerie van lenM. 
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2.4.5 Bodem- en streefwaarden 
Bevindingen 

De bodem- en streefwaarden zijn gebaseerd op historische cijfers. Aan de hand van deze 
cijfers heeft NS bepaald wat realistische waarden voor de toekomst zijn. Hierbij is rekening 
gehouden met het aantal extreme dagen en de geplande werkzaamheden aan het spoor en 
vooral de stations. De door NS voorgestelde bodem- en streefwaarde zijn respectievelijk 
93,7% en 95,2%. Ze zijn vastgesteld op basis van een expert opinion, wat maakt dat hier 
geen verifieerbare berekening aan ten grondslag ligt. 

De bodemwaarde is bepaald op basis van de kwaliteit van de aansluitingen in 201 3. In dit 
jaar was sprake van een relatief groot aantal extreme dagen. Gezien het gemiddelde aan 
extreme dagen per jaar lijkt deze bodemwaarde realistisch haalbaar. De prikkel die hier 
vanuit gaat is echter enigszins beperkt. Er loopt immers een aantal initiatieven dat erop 
gericht is de aankomstpunctualiteit in brede zin te verbeteren en de vertragingen op dagen 
met extreme omstandigheden te beperken. De incorporatie van deze effecten betekent dat 
de voorgestelde bodemwaarde licht naar boven bijgesteld kan worden. In de praktijk 
betekent dit dat van NS verwacht mag worden dat de kwaliteit van de aansluitingen in de 
toekomst tenminste net boven de waarde ligt die gerealiseerd is 201 3, het jaar met het 
grootste aantal extreme dagen van de afgelopen vijfjaar (zie tabel). 


Jaar 

Kwaliteit van aansluitingen op andere vervoerders 

2009 

92 , 7 % 

2010 

92,3% 

2011 

94,4% 

2012 

94,3% 

2013 

93,7% 

2014 

95,2% 

201 5 

95,0% 


De streefwaarde is gebaseerd op de hoogste waarde die tot nu toe voor deze prestatie- 
indicator is behaald. Het gaat hier om de realisatie in 201 4. In dit jaar was sprake van veel 
minder extreme dagen dan gemiddeld. Rekening houdend met dit gemiddelde betekent de 
nu voorgestelde streefwaarde dat de aankomstpunctualiteit in brede zin licht dient te 
stijgen. Gezien de initiatieven die lopen om dit te realiseren, lijkt het genoemde percentage 
haalbaar en tegelijk voldoende ambitieus. 

Aanbevelingen 

■ Stel de bodemwaarde voor de prestatie-indicator vanuit het ministerie van lenM in overleg 
met NS licht naar boven bij. 
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3 Bevindingen prestatie-indicatoren ProRail 

3.1 Klanthinder als gevolg van storingen infrastructuur 

3.1.1 Definitie 
Bevindingen 

De klanthinder als gevolg van storingen aan de infrastructuur is een nieuwe prestatie- 
indicator die ProRail samen met de consumentenorganisaties vertegenwoordigd in het 
Locov ontwikkeld heeft. De indicator geeft inzicht in het aantal storingen met een grote 
impact op de treindienst. Hierbij wordt een relatie gelegd tussen een storing en de hinder 
die een reiziger ondervindt. ProRail rapporteert de omvang van de klanthinder als het 
aantal storingen in twee te onderscheiden categorieën: 

■ Categorie 1: storingen met zeer veel hinder (totaal aantal gewogen treinvertragingsminuten 

> 6 . 000 ); 

■ Categorie 2: storingen met veel hinder (totaal aantal gewogen treinvertragingsminuten 
tussen 1.500 en 6.000). 

De sturing van ProRail is erop gericht om vooral de storingen in deze beide categorieën af 
te laten nemen. Opgeteld dekken deze twee categorieën 4,6% van het aantal storingen en 
69% van de klanthinder in termen van het aantal treinvertragingsminuten af. Hiermee ligt 
de focus in de sturing binnen ProRail op de storingen die de meeste klanthinder 
veroorzaken. 

De definitie van de prestatie-indicator is helder, concreet en eenduidig interpreteerbaar 
beschreven, met uitzondering van volgende punten: 

■ Ten eerste is in de procesbeschrijving niet duidelijk aangegeven dat wordt gerapporteerd 
over storingen in zowel categorie 1 als categorie 2; 

■ Ten tweede is niet eenduidig aangegeven dat de eenheid waarin de prestatie-indicator 
wordt uitgedrukt ‘aantal storingen’ is (en niet ‘minuten’); 

■ Tot slot is niet helder beschreven dat alle geplande treinritten onderdeel uitmaken van de 
prestatie-indicator, waaronder ritten van goederentreinen en lege treinen. 

Aanbevelingen 

■ Scherp in de procesbeschrijving de definitie van de prestatie-indicator aan, waarbij wordt 
aangegeven dat twee categorieën van hinder worden meegenomen, dat de eenheid waarin 
de indicator wordt uitgedrukt het aantal storingen per categorie is en dat alle geplande 
treinritten meegenomen worden. 

3.1.2 Meetmethoden 
Bevindingen 

Voor de meetmethode van de prestatie-indicator wordt gebruik gemaakt van de reeds 
bestaande registratie van het aantal Treindienst Aantastende Onregelmatigheden (TAO’s) 
veroorzaakt door storingen aan de infrastructuur. Om de klanthinder van een TAO te 
bepalen, worden hieraan zogeheten treinvertragingsminuten toegekend. Zo kan per storing 
de totale omvang van de hinder worden bepaald. Op basis van deze hinder wordt een TAO 
ingedeeld in een van de vier onderscheiden categorieën van klanthinder. Zoals hierboven 
beschreven worden de aantallen storingen in de twee zwaarste categorieën als prestatie- 
indicator gerapporteerd. 
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De registratie van de TAO’s vindt plaats in het systeem Monitoring. In deze registratie zijn 
voor het bepalen van de voorliggende prestatie-indicator geen veranderingen doorgevoerd. 
Het meetsysteem dat wordt gebruikt is concreet, helder en eenduidig interpreteerbaar 
beschreven. In de beschrijving zijn ook de risico’s die spelen inzichtelijk gemaakt en zijn 
hiervoor ook beheersmaatregelen bepaald. 

De treinvertragingsminuten worden reeds geregistreerd als Te Verklaren Trein Afwijkingen 
(TVTA’s). Een TVTA ontstaat door een opheffing, een omleiding of een vertragingssprong 
van een trein. Deze worden gemeten op zogenaamde dienstregelpunten. De registratie van 
de TVTA’s vindt plaats sinds 2005. De registratie van de TVTA’s vindt eveneens plaats in 
het systeem Monitoring. In deze registratie zijn voor het bepalen van de prestatie-indicator 
geen veranderingen doorgevoerd. 

Het meetsysteem dat gebruik wordt om de TVTA’s te bepalen, is concreet, helder en 
eenduidig interpreteerbaar beschreven. Er is echter geen uitgeschreven document waarin 
de risico’s van het meetsysteem voor de TVTA’s zijn vastgelegd, evenals de wijze waarop 
hiermee wordt omgegaan. De belangrijkste risico’s zijn op basis van een interne audit van 
ProRail wel in beeld. Het gaat hier om het niet volledig en onjuist registreren van de TVTA’s. 
Er zijn wel beheersmaatregelen getroffen om deze risico’s te mitigeren (zie vervolg). 

Het koppelen van de TVTA’s aan de TAO’s is een nieuwe processtap waar vooralsnog geen 
uitgeschreven procedure voor bestaat. Op basis van de ervaringen die in de nu lopende 
testfase worden opgedaan, wordt deze processtap geconcretiseerd. Op termijn wordt de 
processtap uitgeschreven in de procesbeschrijving van deze prestatie-indicator. 

Aanbevelingen 

■ Werk voor deze prestatie-indicator gezien de gevoeligheid van de metingen met een 
risicodossier, waarin de risico’s en getroffen risicobeheersmaatregelen worden vastgelegd; 

■ Stel als onderdeel van de procesbeschrijving een procedure op voor het koppelen van 
TVTA’s aan TAO’s. 

3.1.3 Meetpraktijk 
Bevindingen 

Eind 2014 is het proces van de registratie van de TAO’s in een audit van Ernst & Young 
tegen het licht gehouden. 9 Gezien de recente datum van deze audit is deze niet nogmaals 
uitgevoerd. De audit van Ernst & Young heeft geleid tot een aantal constateringen. 

ProRail stelt de constateringen van Ernst & Young intern periodiek aan de orde. De 
aandacht richt zich hierbij op het bepalen van de voortgang van de acties die genomen 
worden om opvolging te geven aan de bevindingen van de audit. Inmiddels zijn vrijwel alle 
constateringen opgelost. De enige uitzondering is de constatering die betrekking heeft op 
een sluitende controle op het werk van de posten van de verkeersleiding. Hiervoor is een 
plan van aanpak opgesteld, dat momenteel in uitvoering is. 


9 Feitelijke bevindingen inzake het onderzoek naar de totstandkoming van niet-financiële informatie, Ernst & Young 
Accountants LLP, 27 november 201 4. 
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In aanvulling op de constateringen van Ernst en Young komt uit de voorliggende audit naar 
voren, dat het aantal voor een bepaalde meetperiode geregistreerde TAO’s in de loop van 
de tijd fluctueert. Dit wordt veroorzaakt door het proces van verificatie van de juistheid van 
de registratie van de TVTA’s. Dit proces neemt meerdere maanden in beslag, mede omdat 
er soms behoefte is aan arbitrage over de oorzaken van een storing. Aangezien het aantal 
TAO’s al tijdens deze verificatieslag gepubliceerd wordt, is het mogelijk dat het definitieve 
aantal na afronding van de verificatie (licht) afwijkt van het eerder gepubliceerde aantal. 

Tot slot blijkt uit de voorliggende audit dat de aantallen TAO’s die in de verschillende 
systemen van ProRail worden vastgelegd niet altijd met elkaar overeenkomen. De relatief 
kleine verschillen worden handmatig gecorrigeerd. 

Voor de registratie van de TVTA’s geldt dat er dagelijks circa 80 steekproeven worden 
gedaan over de 1 3 posten van de verkeersleiding. Deze zijn erop gericht om de kwaliteit 
van de registratie te bepalen. De uitkomsten van de steekproef worden besproken in een 
intern overleg. Dit overleg is bedoeld om de aandacht te focussen op de registratie. Buiten 
de steekproeven zijn binnen ProRail geen rapportages beschikbaar die inzicht geven in de 
kwaliteit van de registratie van de TVTA’s. 

Zoals eerder beschreven worden de TVTA’s voor het bepalen van de prestatie-indicator 
toegewezen aan een TAO. Bij de start hiervan werd gecontroleerd welk percentage van de 
TVTA’s daadwerkelijk werd gekoppeld aan een TAO. Dit percentage bedroeg circa 99%. Er is 
geen reden om aan te nemen dat dit percentage momenteel afwijkt. Door het ontbreken 
van de controle, bestaat hier echter geen actueel zicht op. Het opnieuw invoeren van de 
controle zou inzichtelijk kunnen maken welk deel van de TVTA’s niet wordt meegenomen in 
de indicator. 

In de praktijk komt het voor dat één TAO ten onrechte twee maal wordt geregistreerd. 
Hierbij gaat het om storingen die plaatsvinden op de grens tussen twee regio’s van de 
verkeersleiding. Een van de twee meldingen wordt na verificatie dan uit het systeem 
gehaald. Hiermee verdwijnen echter onbedoeld ook de TVTA’s die aan deze TAO gekoppeld 
zijn. ProRail heeft deze omissie onderkend en geeft aan dat het registratiesysteem nog dit 
jaar zodanig zal worden aangepast, dat bij het schrappen van een dubbele registratie van 
een TAO de klanthinder wordt overgeheveld naar de TAO die niet geschrapt wordt. Deze 
aanpassing bevindt zich momenteel in een testfase. Tot de afronding van deze fase wordt 
in het verificatieproces de TAO met de (in minuten) grootste storing behouden. 

Aanbevelingen 

■ Voer opnieuw een controle in op het proces van het toewijzen van TVTA’s aan TAO’s. 

3.1.4 Informatie uit meetsystemen 
Bevindingen 

De registratie van de TAO’s en de TVTA’s vindt al langere tijd plaats. Ten behoeve van de 
voorliggende prestatie-indicator is deze registratie niet aangepast. Dit geldt niet voor de 
koppeling van de TVTA’s aan de TAO’s. Dit is een nieuwe processtap. Dit maakt dat een 
vergelijking van de prestatie-indicator tussen meerdere kalenderjaren niet mogelijk is. Dit 
ligt niet aan de kwaliteit van de informatie uit de meetsystemen, maar aan de recente 
introductie van de prestatie-indicator. 
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Aanbevelingen 


3.2 Punctualiteit regionale series (<3 minuten) 

Definitie 

De punctualiteit van de regionale series wordt gemeten als het percentage aankomsten 
waarbij het verschil tussen de oorspronkelijk geplande tijd en vastgestelde realisatietijd 
kleiner is dan drie minuten. Uitgevallen aankomsten en aankomsten van vervangende 
treinen maken geen onderdeel uit van de berekening. De meting voor de regionale series 
vindt momenteel plaats op 30 stations voor de treinseries van vijf vervoerders. 

Bevindingen 

Na de scope-wijziging worden 33 meetpunten meegenomen in de berekening van deze 
prestatie-indicator. 

De decentralisatie van de lijn Zwolle - Enschede naar de Provincie Overijssel en het 
toevoegen van nieuwe metingen op de stations van Winterswijk en Doetinchem hebben op 
basis van de berekening van ProRail een negatief effect op de verwachte waarde van de 
prestatie-indicator in de komende jaren. Het berekende verschil is -/- 0,8 procentpunt. Op 
basis van dit berekende verschil is het voorstel van ProRail om de bodem- en streefwaarde 
met eenzelfde percentage bij te stellen: de bodemwaarde neemt hierdoor af van 93,0% naar 
92,2% en de streefwaarde daalt van 94,0% naar 93,2%. 

De decentralisatie van de lijn Zwolle - Enschede leidt op basis van de berekeningen van 
ProRail tot een aanpassing van de gerealiseerde punctualiteit van -/- 0,6 procentpunt. Dit 
percentage is gebaseerd op de punctualiteitsgegevens voor 2014. Deze gegevens geven 
een representatief beeld van de punctualiteitsontwikkeling door het jaar heen. Feitelijk zou 
het effect van de decentralisatie al in 201 5 in de prestatie-indicatoren meegenomen moeten 
zijn, maar dit is niet gebeurd. De aanpassing vindt nu per 1 januari 2016 plaats. 

Het effect van het toevoegen van de nieuwe metingen op de stations van Winterswijk en 
Doetinchem heeft volgens de berekeningen van ProRail een effect op de punctualiteit van 
-/- 0,2 procentpunt. Dit percentage is gebaseerd op een meting in de maanden november 
en december in 2014. Over de eerste negen maanden van 201 5 zijn nu aanvullende 
gegevens beschikbaar. Uit een eerste inzicht in deze gegevens blijkt dat deze niet ver van 
de realisatie van de twee maanden in 201 4 liggen. Het gebruik van meer maanden voor de 
totstandkoming van de bodem- en streefwaarde zal echter wel leiden tot een meer 
betrouwbaar percentage. Uit de audit is naar voren gekomen, dat er tussen het ministerie 
van lenM en ProRail geen afspraken zijn gemaakt over de minimale meetperiode waarop 
nieuwe bodem- en streefwaarden worden gebaseerd. Het gezamenlijk maken van afspraken 
over de gewenste betrouwbaarheidsmarge van de realisatiegegevens is wel wenselijk 

De bijstellingen in de realisatiecijfers als gevolg van de bovenstaande aanpassingen zijn 
één op één vertaald naar de bodem- en de streefwaarde. Deze methode is logisch en 
verdedigbaar. 

Aanbevelingen 

■ Maak tussen ProRail en het ministerie van lenM afspraken over de minimale statistische 
betrouwbaarheid van historische gegevens op basis waarvan nieuwe bodem- en 
streefwaarden worden gebaseerd; 
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■ Herijk de aanpassing van de bodem- en de streefwaarde als gevolg van de nieuwe metingen 
op de stations van Winterswijk en Doetinchem, waarbij aanvullend gebruik wordt gemaakt 
van de realisatiecijfers over de eerste negen maanden van 201 5. 

3.3 Punctualiteit HSL-producten en ICE (<3 minuten) 

Definitie 

De punctualiteit van de HSL-producten en de ICE is gedefinieerd als het percentage 
treinaankomsten waarbij het verschil tussen de oorspronkelijke geplande tijd en de 
vastgestelde realisatietijd kleiner is dan drie minuten. Uitgevallen aankomsten en 
aankomsten van vervangende treinen maken geen onderdeel uit van de berekening. 

Bevindingen 

De scope van deze prestatie-indicator is aangepast door de overheveling van de treinseries 
van de ICE en de IC Brussel naar de interne indicator ‘Punctualiteit Hoofdrailnet’. Deze 
overheveling heeft een positief effect op de punctualiteit van de resterende HSL-producten 
van 2,0 procentpunt. Het voorstel van ProRail is om de bodemwaarde op basis hiervan aan 
te passen van 79,5% naar 81,5% en de streefwaarde van 82,0% naar 84,0%. 

De berekening van het effect van de aanpassing in de scope van de prestatie-indicator is 
gebaseerd op de gerealiseerde punctualiteitsgegevens voor 2014. Uit deze gegevens zijn 
de treinseries ICE en IC Brussel verwijderd. Vervolgens is een vergelijking gemaakt met de 
oorspronkelijke realisatiecijfers (inclusief de ICE en de IC Brussel) en is het verschil bepaald. 
Dit verschil is één op één vertaald naar de bodem- en de streefwaarde. Voor de eerste 
negen maanden van 201 5 zijn nu aanvullende gegevens beschikbaar. Hieruit blijkt dat de 
realisatie tot en met september 201 5 een significant verschil vertoont met de realisatie in 
2014. Dit geeft reden om opnieuw in gesprek te gaan over het huidige voorstel van de 
bodem- en streefwaarde. 

Daarnaast is in de één op één vertaling geen rekening gehouden met een verandering in de 
spreiding van de realisatiecijfers voor de aankomstpunctualiteit van de treinseries die 
onderdeel blijven uitmaken van de prestatie-indicator. Door het overhevelen van de twee 
treinseries is het aantal punctualiteitsmetingen dat binnen de scope van deze prestatie- 
indicator valt, kleiner geworden. Hierdoor is het gewicht van de overgebleven treinseries (IC 
Direct en Thalys) in het bepalen van de realisatiewaarde van de prestatie-indicator vergroot. 
Dit beïnvloedt het risico dat de realisatiewaarde in een bepaald jaar niet ligt binnen de 
bandbreedte van de gekozen bodem- en streefwaarde. Indien dit risico substantieel is 
veranderd, dan zou dit zijn doorwerking moeten hebben in de bepaling van de nieuwe 
bodem- en streefwaarde. Echter, omdat niet inzichtelijk is hoe de spreiding in de situatie 
van de oude en de nieuwe scope zich tot elkaar verhouden, is ook de omvang van dit risico 
voor ProRail niet in beeld en zijn de bodem- en streefwaarde hier niet op aan te passen. 

Aanbevelingen 

■ Herijk de aanpassing van de bodem- en de streefwaarde waarbij aanvullend gebruik wordt 
gemaakt van de realisatiecijfers over de eerste negen maanden van 201 5; 

■ Geef inzicht in de spreiding van de aankomstpunctualiteit in de situatie met de oude en de 
nieuwe scope en betrek het verschil hiertussen bij het bepalen van de nieuwe bodem- en 
streefwaarde. 
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3.4 Beïnvloedbare TAO’s 

Definitie 

Het aantal beïnvloedbare Treindienst Aantastende Onregelmatigheden (TAO’s) is een 
verstoring van de dienstregeling, veroorzaakt door een onregelmatigheid aan de 
infrastructuur. 

Bevindingen 

Op basis van de realisatiecijfers in de afgelopen jaren is het voorstel om de bodem- en 
streefwaarde voor het aantal TAO’s aan te passen: 

■ voor de bodemwaarde is het voorstel deze te verlagen van 5.900 naar 5.200; 

■ voor de streefwaarde is een verlaging van 5.200 naar 4.1 00 voorgesteld. 

De aanpassingen worden ingegeven door de ontwikkeling van het TAO’s in de afgelopen 
jaren (zie tabel). In deze periode is sprake geweest van een jaarlijkse gemiddelde afname 
van circa 5,0%. ProRail geeft aan dat de nieuwe omvang voor de bodem- en streefwaarde 
meer in lijn zijn met de werkelijke realisatie. 


TAO’s 

2010 

2011 

2012 

2013 

2014 

Aantal TAO’s per jaar 

6.091 

5.687 

5.589 

5.299 

4.926 


Verschil t.o.v. voorgaand jaar 

- 

-/- 7 % 

-/- 5 % 

-/- 2% 

-/- 7 % 


Bron: Monitoring ProRail 


De nieuwe bodemwaarde is in 201 4 ruim gehaald. In 201 5 wordt een aanvullende daling 
verwacht. In combinatie met de initiatieven die de komende periode genomen worden om 
het aantal TAO’s te laten afnemen, is het beeld dat de nieuwe bodemwaarde nog steeds 
relatief hoog is. Verwacht mag worden dat het absolute maximum aan aantal te realiseren 
TAO’s de aankomende jaren kleiner is dan 5.200 TAO’s per jaar. Dit betekent dat de 
voorgestelde bodemwaarde naar beneden bijgesteld kan worden. 

Voor de nieuwe streefwaarde is door ProRail uitgegaan van een afname van het aantal 
TAO’s met gemiddeld 250 per jaar (gemiddeld 3,5%). Deze afname is gebaseerd op een 
expert opinion van deskundigen van ProRail, rekening houdend met de ontwikkelingen die 
de komende jaren plaatsvinden, waaronder de versterkte sturing op het voorkomen van 
storingen aan de infrastructuur en de implementatie van het programma ‘Beter en meer’, 
maar ook de uitrol van de contractering van prestatiegericht onderhoud. 

Gezien het feit dat de afname waarvan voor de periode tot 201 9 wordt uitgegaan kleiner is 
dan die in de periode tussen 201 0 en 201 4 (van 5,0% naar 3,5%) is het beeld dat de nieuwe 
streefwaarde in historisch perspectief en ook gebaseerd op de recente realisaties realistisch 
is. Een aanvullende verlaging van de streefwaarde lijkt weinig realistisch en te ambitieus. 

Aanbevelingen 

■ Stel de bodemwaarde voor de prestatie-indicator vanuit het ministerie van lenM in overleg 
met ProRail naar beneden bij. 
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4 Aanvullende aandachtspunten voor toekomst 

Uit de voorgaande hoofdstukken komt naar voren dat de bevindingen bij de acht prestatie- 
indicatoren die onderdeel zijn van de audit, relatief beperkt zijn. In aanvulling op deze 
bevindingen presenteren we in dit hoofdstuk vijf meer generieke aandachtspunten die van 
belang zijn om het gebruik van de prestatie-indicatoren verder te optimaliseren. 

■ Om meer inzicht te krijgen in de ontwikkeling van de kwaliteit van de meetpraktijk zou het 
helpen als NS en ProRail meer aandacht te besteden aan de interne monitoring van deze 
kwaliteit. Dit bijvoorbeeld door het uitvoeren van interne kwaliteitsmetingen of audits. 

Naast het feit dat deze monitoring helpt om meer zicht te krijgen op de kwaliteit, maken 
deze het ook gemakkelijker om deze kwaliteit extern te auditen. De externe audits kunnen 
dan plaatsvinden op basis van de interne rapportages en meer systeemgericht worden 
ingevuld; 

■ NS is voor de berekening van een aantal prestatie-indicatoren afhankelijk van gegevens van 
ProRail. Het is niet expliciet gemaakt welke partij verantwoordelijk is voor de kwaliteit van 
deze gegevens. Mag NS ervan uitgaan dat de kwaliteit voldoende is of is het aan deze 
organisatie om hier nog een check op te doen? Door de verantwoordelijkheidsverdeling 
scherper te omschrijven, is winst te behalen in de kwaliteitsborging; 

■ In eerdere audits is de aanbeveling aan NS en ProRail gedaan om te zorgen voor een 
eenduidige vastlegging van de prestatie-indicatoren in termen van definitie, meetmethode 
en meetpraktijk. Op basis van de voorliggende audit constateren we dat in deze vastlegging 
nog een aanvullende verbeterslag mogelijk is, waarbij het onder meer van belang is om ook 
de aanpassingen die in de loop van de tijd zijn doorgevoerd gestructureerd vast te leggen; 

■ Op basis van de audit is niet geheel duidelijk tot op welk detailniveau de afspraken over de 
prestatie-indicatoren tussen het ministerie van lenM enerzijds en NS en ProRail anderzijds 
gemaakt worden. Hierdoor is onvoldoende helder welke aanpassingen in bijvoorbeeld de 
meetmethoden en de meetpraktijk de goedkeuring van het departement behoeven en voor 
welke aanpassingen NS en ProRail de vrijheid hebben om deze zelfstandig aan te passen. 
Een voorbeeld hiervan is de omgang met gewichtsfactoren door NS in het kader van het 
klanttevredenheidsonderzoek. Voor een verdere verbetering van het gebruik van de 
prestatie-indicatoren achten we het belang om op dit punt scherpere afspraken te maken; 

■ Tot slot merken we op dat er geen volledige consistentie bestaat tussen de prestatie- 
indicatoren die gelden voor NS en ProRail. Een voorbeeld hiervan is dat NS de 
gedecentraliseerde serie 7900 Zwolle-Enschede in 201 5 uit de prestatie-indicator 
‘Punctualiteit HRN’ heeft gehaald, omdat deze serie vanaf 1 januari 201 5 niet meer tot de 
HRN-concessie behoorde. ProRail telde deze serie in 201 5 echter nog wel mee in de scope 
van het HRN en voegt deze pas vanaf 201 6 toe aan de prestatie-indicator ‘Punctualiteit 
regionale series’. Ook op dit punt zien we ruimte voor verbetering, zodat er sprake is van 
een logische set van prestatie-indicatoren die onderling een consistent beeld opleveren. 
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Bijlage 1. Brondocumenten 


Nr. 

Omschrijving 

Datum 

Opsteller 

001 

Beheerconcessie 201 5-2025 

Dec. 2014 

Ministerie van lenM 

002 

Vervoerconcessie HRN 201 5-2025 

Dec. 2014 

Ministerie van lenM 

003 

Onafhankelijk onderzoek NS Meetsystemen 

28-4-201 1 

Horvat 

004 

Rapport van feitelijke bevindingen inzake het onderzoek naar 
de totstandkoming van niet-financiële informatie (KPI's) 

30-1 1-2012 

Ernst & Young 

005 

Audit prestatie-indicatoren voortvloeiende uit vervoer- en 

beheerconcessie 

1 7-9-2014 

KPMC 

006 

Rapport van feitelijke bevindingen inzake het onderzoek naar 
de totstandkoming van niet-financiële informatie (KPI's) 

27-1 1-2014 

Ernst & Young 

007 

Tabel kwartaalrapportage KPI’s Q2 201 5 

5-8-2015 

NS 

008 

Samenvatting KPI veranderingen 


NS 

009 

Handboek KTO Back Office (oude KTO) 

1-7-201 5 

NS 

010 

Handboek KTO Veldwerk (oude KTO) 

1-7-201 5 

NS 

01 1 

KTO Beschrijving Backoffice processen (nieuwe KTO) 

14-9-201 5 

NS 

012 

Tabel ambitieneutrale omzetting 3 KPI's uit KTO 


NS 

013 

Memo algemeen oordeel HRN 


NS 

014 

Memo algemeen oordeel HSL-Zuid 


NS 

01 5 

Online vragenlijst KTO - NS Binnenland 

Juli 201 5 

NS 

016 

Online vragenlijst KTO - NS Internationaal 

Juli 201 5 

NS 

017 

Tabel historische waarden kwaliteit van aansluitingen 


NS 

018 

Memo aankomstpunctualiteit 5 minuten 

12-8-2014 

NS 

019 

Mail beantwoording aanvullende vragen gesteld op 28/9 

29-9-201 5 

NS 

020 

Mail beantwoording aanvullende vragen gesteld op 30/9 

1-10-201 5 

NS 

021 

Onderbouwing effect half tien KTO 

1-10-201 5 

NS 

022 

Mail beantwoording aanvullende vragen gesteld op 5/10 

5-10-201 5 

NS 

023 

Project een NS Klantoordeel: steekproefopzet 


NS 

024 

Tabel wegingskader 201 5 


NS 

025 

Memo klantoordelen 

12-8-2014 

NS 

026 

Mail kwaliteitsborging meetproces KTO 

6-10-2015 

NS 

027 

Hoofdlijnen beheerplan 2016 

29-5-201 5 

ProRail 

028 

Format samenvatting wijzigingen ProRail KPI's 

1 5-9-201 5 

ProRail 

029 

Voorstel bodem- en streefwaarden beïnvloedbare TAO's en 

Klanthinder TAO’s 

29-5-201 5 

ProRail 

030 

Beleidsdocument KPI Klanthinder - Procesbeschrijving en 

AO/IC 

13-8-2015 

ProRail 

031 

Behandelvoorstel Directeurenoverleg lenM-ProRail wijziging 

definitie Punctualiteit KPI’s 

27-5-201 5 

ProRail - lenM 

032 

Notulen Directeurenoverleg lenM-ProRail wijziging definitie 

Punctualiteit KPI's 

27-5-201 5 

ProRail 

033 

Memo Directeurenoverleg lenM-ProRail verzoek tot wijziging 

definitie Punctualiteit KPI’s 

13-5-2015 

ProRail 

034 

Mail opmerkingen KPI's BHP 201 6 

26-8-2015 

ProRail 

035 

Mailwisseling ProRail - lenM Verandering punctualiteit na 
verschuiving 7900 serie 

6-7-2015 

ProRail - lenM 

036 

Tabel effect punctualiteit verschuiving 7900 serie 


ProRail 


29 








































Andersson Elffers Felix 


037 

Memo Totstandkoming Aansluitingen tussen vervoerders 

8-7-2015 

ProRail 

038 

Spelregels Monitoring 

2-5-2011 

ProRail 

039 

Mails beantwoording aanvullende vragen gesteld op 1 6/9 en 
18/9 

23-9-201 5 

ProRail 

040 

Twee voorbeelden uit steekproef Monitoring 

10-4-201 5, 

2-9-2015 

ProRail 

041 

Leeswijzer bij steekproeven Monitoring 

2-10-2015 

ProRail 

042 

Gespreksverslag opvolging bevindingen audit 2014 

3-11-2014 

ProRail 

043 

Managementreactie op audit KPI TAO’s 2014 

2-10-2015 

ProRail 

044 

Status opvolging bevindingen audit KPI’s 201 2 

2-10-2015 

ProRail 

045 

Mail beantwoording aanvullende vragen gesteld op 5/10 

7-10-201 5 

ProRail 
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Bijlage 2. Gesprekspartners 


Nr. 

Functie geïnterviewde 

Datum 

001 

NS - Business consultant Kwaliteit van Aansluitingen 

14-9-201 5 

002 

NS - Verantwoordelijke statistiek achter KTO 

1 5-9-201 5 

003 

NS - Verantwoordelijke analyse KTO 

1 5-9-201 5 

004 

NS - Projectleider verandering KTO 

1 5-9-201 5 

005 

ProRail - Beleidsadviseur Infrabeschikbaarheid 

1 5-9-201 5 

006 

ProRail - Verantwoordelijke prestatie-analyse TAO's en Klanthinder 

1 5-9-201 5 

007 

ProRail - Business controller Operatie 

16-9-2015 

008 

ProRail - Verantwoordelijke prestatie-analyse Punctualiteit 

16-9-2015 

009 

ProRail - Manager infrabeschikbaarheid 

18-9-2015 

010 

ProRail - Business controller Assetmanagement 

18-9-2015 

01 1 

ProRail - Corporate controller ProRail 

18-9-2015 


31 















Bijlage 3. Beoordelingskader 


1. Zijn de definities helder, concreet en eenduidig interpreteerbaar beschreven? 

• Specifiek 

• Compleet 

• Meetbaar 


• In zichzelf consistent 


• Voor één uitleg vatbaar 

• Afgebakend in tijd 

• Afgebakend in scope (breedte) 


2. Zijn de meetmethoden helder, concreet en eenduidig interpreteerbaar beschreven? 

• Specifiek 

• Compleet 

• In zichzelf consistent 


Voor één uitleg vatbaar 


B. Zijn de bodem- en streefwaarden zowel vanuit historisch perspectief als gebaseerd op recente 
realisaties en te verwachten toekomstige ontwikkelingen haalbaar en ambitieus genoeg? 

• Relatieve afwijking van bodem- en streefwaarden van historische en recente realisaties 

• Invloed van actuele en toekomstige ontwikkelingen op verwachte toekomstige realisaties 

• Verwachte afwijking van bodem- en streefwaarden van verwachte toekomstige realisaties 


4. Komt de meetpraktijk overeen met de beschrijving van de meetsystemen (conformiteit) en wordt 
er gerapporteerd wat er gemeten wordt (juistheid)? 

• Overeenkomst tussen stappen in de meetpraktijk met de beschrijving van de meetsystemen 

• Kwaliteitsborging in meetpraktijk (toetsen / evaluaties / monitors) 

• Voldaan aan uitgangspunten en randvoorwaarden van meetsysteem 

• Gebruik van juiste basisgegevens (omvang / tijdvak / etc.) 

• Een op een overname van uitkomsten van meetpraktijk in rapportage 


5. Is de informatie afkomstig uit de meetsystemen voldoende representatief en statistisch 
betrouwbaar om een vergelijking tussen verschillende kalenderjaren mogelijk te maken? 

• Statistische betrouwbaarheid van basisgegevens (representatieve steekproef) 

• Variantie van basisgegevens 

• Statistische fout in meetsysteem 

• Omgang met tussentijdse aanpassingen in meetsysteem (neutralisatie van afwijkingen / 
trendbreuken) 


6. Zijn de aangepaste bodem- en streefwaarden een ambitieneutrale doorvertaling van de bodem- en 
streefwaarden in het Vervoer- en Beheerplan 201 5? 

• Afwijking tussen bodem- en streefwaarden in plannen 201 5 en nu 

• Verklaring voor afwijking tussen bodem- en streefwaarden in plannen 201 5 en nu 

• Verhouding tussen historische en recente realisaties 1) in relatie tot de bodem- en 
streefwaarden uit plannen 201 5 en 2) in relatie tot de aangepaste bodem- en streefwaarden 
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(toets op ambitieneutraliteit) 


7. Zijn de wijzigingen in de bodem- en streefwaarden een logisch gevolg van de wijziging van de 
definitie van de prestatie-indicator? _ 

• Afwijking tussen oude en nieuwe definitie van de prestatie-indicator 

• Afwijking tussen oude bodem- en streefwaarden en nieuwe bodem- en streefwaarden 

• Verhouding tussen afwijking in definitie en afwijking in bodem- en streefwaarden 


8. Zijn de wijzigingen in de bodem- en streefwaarden realistisch in historisch perspectief als ook 
gebaseerd op recente realisaties? Dit in relatie tot de eerder afgesproken bodem- en 
streefwaarden in de beheerconcessie? _ 

• Afwijking tussen bodem- en streefwaarden in plannen 201 5 en nu 

• Verklaring voor afwijking tussen bodem- en streefwaarden in plannen 201 5 en nu 

• Verhouding tussen historische en recente realisaties 1) in relatie tot de bodem- en streefwaarden 
uit plannen 201 5 en 2) in relatie tot de aangepaste bodem- en streefwaarden (toets op 

_haalbaarheid)_ 
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